深度神经网络(DNN)模型,包括在安全 - 关键域中使用的模型,需要进行彻底测试,以确保它们在不同的情况下可以可靠地表现良好。在本文中,我们提供了用于测试DNN模型的结构覆盖量指标,包括神经元覆盖(NC),K-Multisection神经元覆盖范围(KMNC),TOP-K神经元覆盖范围(TKNC),神经元边界覆盖率(NBC),强元(NBC),强神经元激活覆盖范围(SNAC)和修改条件/决策覆盖范围(MC/DC)。我们评估用于感知任务的现实DNN模型(包括LENET-1,LENET-4,LENET-5和RESNET20)以及自治(TAXINET)中使用的网络的指标。我们还提供了一个工具DNNCOV,可以测量所有这些指标的测试覆盖范围。 DNNCOV向研究人员和从业人员提供了一份信息丰富的报道报告,以评估DNN测试的充分性,比较不同的覆盖范围,并在测试过程中更方便地检查模型的内部。
translated by 谷歌翻译